Phủ Dầy có ý nghĩa là "đền lớn ở làng Kẻ Dầy".[1]

Năm 1557 triều vua Lê Anh Tông, làng Kẻ Dầy mới lấy tên chữ là xã An Thái, chia làm bốn thôn: Vân Cát, Vân Đình, Vân Cầu, Nham Miếu. Vì hai quan tiến sĩ Trần Ngọc Kỳ và Trần Bích Hoành cùng xã An Thái bất bình với nhau về chức Tiên chỉ, không ai nhường ai nên dân sở tại xin chia xã An Thái làm hai xã nhỏ: một xã lấy tên là Tiên Hương và một xã là Vân Cát, cách nhau 2 km. Mỗi nơi có phủ thờ Liễu Hạnh riêng.

Năm 1861 (Tự Đức thứ 12) xã An Thái mới chính thức đổi tên là xã Tiên Hương.

Phủ Tiên Hương được xây dựng từ thời Lê – Cảnh Trị (1663 – 1671)

Hiện nay, Tiên Hương được đổi tên là xã Kim Thái.